わずか10名からなるスタートアップ企業Nous Researchが、Hermes3というAIモデルでメタのような巨大テクノロジー企業に挑戦しています。Llama 3.1を基に微調整されたHermes3は、VRAMとディスクの要件を最適化し、単一ノードで動作可能な強力なモデルです。会話能力、テキスト理解の質、そしてエージェント統合能力において優れたパフォーマンスを発揮し、従来の言語モデルを超える高度な能力を示しています。Nous Researchはオープンソースに注力しています。

本稿では、人工知能分野、特に大規模言語モデル（LLM）における計算とストレージの課題について論じています。BloomモデルのようなAI能力の向上に伴い、必要な計算資源とストレージ容量が大幅に増加し、コストの高騰と普及性の問題を引き起こしています。この問題を解決するために、「量子化」技術が導入され、モデルの重みと活性化の精度を下げることで、モデルサイズを縮小し、実行速度を向上させながら、精度低下を抑制します。本稿では、北京航空航天大学と商湯科技が共同開発した

Meta社は最新のAIモデルLlama3.1のトレーニングに16384枚のGPUを使用し、AI技術の驚異的な発展速度を示しました。しかし、この過程で平均3時間ごとに1回の障害が発生し、合計419回の障害が発生しました。その約半分はH100 GPUとそのHBM3メモリに関連しています。このデータは、性能向上を目指す超算システムが直面する信頼性の課題を明らかにしています。Llama3.1トレーニングクラスタの複雑さは、小型都市ニューラルネットワークに匹敵し、障害が頻発しています。Metaチームは、障害を軽減するための戦略（例：〜省略〜）を採用しました。

Metaの科学者Thomas Scialom氏がLlama 3.1の開発秘訣を明らかにしました。4050億パラメーター規模のモデルはGPT-4に対抗するために開発されました。アーキテクチャではなくトレーニングトークン数を増やすことで、Llama 3.1はモデル規模とトレーニングデータ総量の最適なバランスを実現し、知識の深さと広さの飛躍的な向上を達成しました。データ選択において、Scialom氏は公開インターネット上のテキストよりも合成データを選択する傾向があります。Llama 3.1の評価と改善には、報酬モデルと多様なベンチマークが使用されています。

Amazon Web Servicesは、Amazon BedrockプラットフォームでLlama 3.1モデルの提供を開始しました。これはMetaによって開発された高度なAIモデルシリーズであり、8B、70B、405Bのパラメータサイズを備え、優れた性能を発揮します。英語、ドイツ語など8言語に対応し、多様な会話ユースケースをサポートします。Llama 3.1 405Bは、エンタープライズアプリケーションや研究開発に適しており、一般的な知識、長文生成などに優れています。Llama 3.1 70Bは、コンテンツ作成、対話型AIなどに適しています。

Cloudflareは先日、Meta社の最初の連携パートナーの1社として、Workers AIプラットフォームでMetaが最近リリースしたLlama 3.18Bモデルを公開したと発表しました。これにより、開発者は、モデルのリリース初日からこの最先端のAIツールを使用できるようになります。

Meta社のCEO、マーク・ザッカーバーグは先日、Llama 3.1の正式リリースを発表し、これがオープンソースAI分野における重要なマイルストーンとなる可能性があると述べました。Metaは今回、3つの異なる規模のLlama 3.1モデルを発表しており、特に注目すべきは4050億パラメータを持つ大規模モデルです。ザッカーバーグは、これが現在最も高度なオープンソースモデルであり、特定の分野では主要なクローズドソースモデルに匹敵する可能性があると述べています。

Meta社は先日、最新のLLMであるLlama 3.1 405Bをオープンソースとして公開しました。この発表は、1年間にわたる綿密な準備（計画から最終承認まで）を経て、Llama 3シリーズモデルがついに一般公開されたことを意味します。Llama 3.1 405Bは、1280億個のパラメータを持つ多言語ツール使用モデルです。8Kコンテキスト長のプリトレーニングの後、さらに128Kコンテキスト長で継続トレーニングされています。Meta社によると、このモデルは複数のタスクにおいてGPT-4並みの性能を示します。

最近、4050億パラメーターを持つオープンソースの大規模言語モデルLlama 3.1がRedditでリークされ、大きな注目を集めています。現在、GPT-4に最も近いオープンソース製品と見なされており、一部の性能ではGPT-4を上回るとさえ言われています。Meta（旧Facebook）によってリリースされたこのモデルは、ベースモデルと70Bバージョンのベンチマーク結果を含んでおり、複数の性能テストでGPT-4を上回っています。Llama 3.1は、多言語サポート能力と広範なトレーニングデータセット（15Tトークン以上）を備えています。